Olave là người con thứ ba và con gái út của một nghệ nhân và chủ hãng nấu rượu bia là Harold Soames. Bà được cha mẹ và một số nữ gia sư giáo dục tại nhà. Gia đình bà di chuyển liên tục vì cha của bà muốn tìm một căn nhà hoàn hảo khiến bà phải sống trong 17 ngôi nhà trong 23 năm đầu đời của mình. Olave trở nên thích các môn thể thao ngoài trời như cầu lông (tennis), bơi lội, bóng đá, trượt băng, chèo thuyền, và chơi violin.